MP
MarkTechPost • 11일 전
IMP 7
사카나 AI, 1000층 신경망 학습 가능한 역전파 대안 'PC-ALM' 공개
Sakana AI 연구진이 레이어 단위 지역 학습 방식인 PC-ALM(Augmented Lagrangian Predictive Coding)을 발표했습니다. 각 층 제약에 라그랑주 승수를 붙여 예측 코딩의 지역적 업데이트를 유지하면서도 선형 신경망에서 정확한 역전파 그래디언트를 복원합니다. 추론 예산 T = 2L에서 폭·깊이 8~128 구간 전반에서 역전파와 동등한 성능을 보이며, MNIST에서 1000층 잔차 MLP를 역전파 대비 약 2포인트 이내 오차로 학습할 수 있습니다.
머신러닝 역전파 대안 예측 코딩